Chiến tranh Đông Dương nổ ra, ông được phân công làm chính trị viên kiêm tỉnh đội trưởng Quảng Bình. Trong thời gian 1947–1948, ông chỉ huy nhiều trận tấn công quân Pháp, vì vậy, để tránh liên lụy đến gia đình, ông dùng tên mới là Đồng Sĩ Nguyên, cái tên về sau gắn bó với ông trong cuộc đời còn lại.

Năm 1950, ông được rút về Việt Bắc học lớp trung cao quân sự, sau đó được điều về Tổng cục Chính trị làm phái viên, biệt phái tham gia Bộ tư lệnh cánh phối hợp Trung Hạ Lào trong chiến dịch Đông Xuân 1953 – 1954.

Sau năm 1954, ông được điều về Bộ Tổng tham mưu, phụ trách Cục Động viên dân quân. Năm 1959, ông được phong quân hàm đại tá. Năm 1961, ông được cử sang Trung Quốc học trường Cao cấp Quân sự Bắc Kinh. Năm 1964, ông về nước và được đề bạt giữ chức vụ Tổng tham mưu phó một thời gian ngắn, sau đó được điều về làm Chính ủy Quân khu 4 năm 1965, sau đó là Tư lệnh kiêm Chính ủy Quân tình nguyện Việt Nam tại Trung – Hạ Lào.

Cuối năm 1965, ông bị thương, phải về Hà Nội điều trị. Đầu năm 1966, ông được cử giữ chức Phó Chủ nhiệm Tổng cục Hậu cần, kiêm Chủ nhiệm Hậu cần tiền phương, dưới quyền ông Đinh Đức Thiện, Chủ nhiệm Tổng cục.

Đầu năm 1967, ông được điều làm Tư lệnh Đoàn 559, thay Đại tá Hoàng Văn Thái. Ông giữ chức vụ này đến năm 1976. Năm 1974, ông được phong vượt cấp từ đại tá lên trung tướng.

Năm 1976, ông được cử giữ chức Thứ trưởng Quốc phòng, phụ trách Tổng cục Xây dựng kinh tế, rồi Bộ trưởng Bộ Xây dựng, Bộ trưởng Bộ Giao thông Vận tải. Năm 1979, ông được điều trở lại quân đội, giữ chức Tư lệnh kiêm Chính ủy Quân khu Thủ đô.

Ông là Ủy viên Trung ương Đảng khóa IV.